直接优化 Pass@k 的思维剪枝：平衡测试时推理的质量与多样性
🧭 LLM 推理剪枝 · pass@k 优化
University of Southern California
直接优化所选候选池的 pass@k，让质量与多样性在剪枝中自动平衡，超越现有策略
📌 工作参考价值（4 点）
- 在搜索/推荐/QueryRec 中用 LLM 生成多个候选 query、文案或商品描述时，可将 pass@k 作为筛选目标：只保留能最大化「至少有一个成功」概率的子集，而不是单独按质量分或多样性筛选，减少冗余并提升最终命中率。
- 工程实现上，对每个生成前缀估计其最终成功的概率（可由模型 logprob 或轻量分类器给出），然后用联合概率选择子集，而非独立 top-k 截断；该思想可嵌入 beam search 或 MCTS 框架，用于 Agent 多步推理轨迹的早期剪枝。
- 结论显示保留中等数量候选时收益最明显，提示不要过度剪枝：当 LLM 生成大量候选时，仅保留前 1-2 个可能损害覆盖，适当保留 5-10 个候选再精排更优。
- 该方法不依赖特定模型，适用于任何可产出候选集的 LLM 场景，可直接用于消息推送选词、搜索 suggestion 的候选生成环节。
什么造就好的去掩码策略？扩散语言模型学习式去掩码的受控研究
🧭 扩散语言模型高效解码策略
NTU Singapore · Institute for Advanced Intelligence and Computing (IAIC), A*STAR · Centre for Frontier AI Research (CFAR), A*STAR
系统解耦学习式去掩码策略，提出轨迹收缩目标，856K参数策略在LLaDA-8B上取得最优精度-效率前沿
📌 工作参考价值（4 点）
- 若在搜索补全、推荐理由生成、query 改写等场景尝试 diffusion LM 或并行解码，可用「轨迹收缩目标」替代“与最终输出一致”作监督：只监督不会导致后续偏离参考轨迹的 commit，避免低 NFE 下过度激进解码。
- 策略输入不要只用 hidden states 或只用 confidence；二者结合的小型策略（856K 参数）即可达到最优前沿，且约 10% NFE 下降就能抵消 policy 开销，适合实时推荐/搜索的低延迟约束。
- 把解码过程视为 teacher，蒸馏出轻量 unmasking policy，能显著提升吞吐；在自回归 LLM 为主的生产环境中，若未来引入 diffusion LM 生成结构化输出，可复用这套精度-NFE frontier 和 throughput 评估方式选型。
- 该策略在 LLaDA-8B 上训练后基本迁移到 Dream-7B-Instruct，说明轻量 policy 有一定跨模型泛化性，可作为多模型共用的推理加速组件。
基于变分解码的并行语言模型
🧭 并行解码 · 变分推断 · LLM 推理加速 ★ 深度解读
University of California, Irvine · ETH Zurich · Charité Berlin · Hasso Plattner Institute
用潜变量路由 token 间依赖，单次前向生成多个一致 token，实现接近自回归质量的 2.3-5.7 倍推理加速
📌 工作参考价值（4 点）
- 在线 LLM 服务加速：如果业务中大量调用 LLM 做搜索 query 改写、导购 Agent、商品文案生成，可尝试把现有 AR 模型改造成 PLM 风格的 block-parallel decoder；通过 β 调节质量/吞吐，SFT 时只对 response token 计算损失，保留 prompt 作为 context，直接复用到指令跟随与对话场景。
- 辅助变量 / Semantic ID 设计：Geometry-aware auxiliaries 使用 embedding 空间的加权 V oronoi 划分而非词表顺序，对生成式推荐中的 Semantic ID 构建有直接启发：用 item embedding 聚类/划分 codebook，比随机 ID 更保留语义，也能提高解码确定性。
- 偏好对齐可复用：PLM 的 DPO 用 response-restricted composite score 并做 length normalization，同时优化 AR encoder 与 parallel decoder；在电商 Agent 的 RLHF / DPO 流程中可以借鉴，避免并行解码分支在偏好优化后掉点。
- 工程验证点：relaxed speculative acceptance 相比严格 speculative decoding 接受率平均提升 46.5%，质量损失小；若迁移到 vLLM 服务，建议先在小参数模型上验证 2-5× QPS 提升，确认长 context、beam search 与自定义 attention mask 的兼容性。
接受不等于速度：训练自由有损推测解码中的长度膨胀
🧭 LLM 推理 · 推测解码效率评估
University of Waterloo
发现 relaxed 推测解码的接受 token 数增加会伴随生成长度膨胀和推理延长，使指标失真，应报告完成长度和验证轮数
📌 工作参考价值（4 点）
- 线上若用 LLM 生成推荐理由、搜索 query 改写、Agent 规划，并用 speculative decoding 加速，不要只报 accepted tokens per round；必须在墙钟时间前先验证是否出现输出长度膨胀，否则吞吐指标会虚高。
- 对预算受限的 Agent 任务（如多步工具调用、长推理链），lossy 验证可能接受低目标模型概率 token，导致推理啰嗦、max_tokens 耗尽而拿不到最终答案；建议优先使用 lossless 或对 token 概率设置更高门槛。
- 评估解码加速方案时，增加 completion length 和 verifier rounds 指标，并与线上真实延迟打点结合；可加长度惩罚、max_new_tokens 约束或后处理截断来控制膨胀。
- 若用于生成式商品文案、推送标题等，lossy 加速可能让输出变冗长，影响点击和转化；建议离线对比输出长度分布和任务指标，避免仅看 accept rate。
分歧引导的弱到强路由
🧭 弱模型到强模型路由 · 无监督分歧信号
University of Pennsylvania
提出用模型间分歧信号做无监督弱到强路由，无需正确性标签即可在成本与准确率间权衡
📌 工作参考价值（3 点）
- 在电商搜索推荐或 Agent 工作流中，小模型常用于低延迟生成 query 改写、推荐理由或工具调用；当输出不确定时需路由到大模型。可直接借鉴：让弱模型生成多个候选（如采样多个 query/理由），再用强模型对候选打分或比较，弱模型候选分布与强模型偏好分歧大则路由，避免依赖用户反馈或人工标注。
- 多候选 + 分歧路由可作为默认路由信号：比较弱模型自身多个响应与强模型判断的一致性，无需训练正确性预测器，部署简单，特别适合开放域文本生成和 agentic 任务，能显著降低大模型调用成本。
- 实验结论表明，即使有 ground-truth 正确性标签可用于训练路由器，基于分歧的路由也能超越直接拟合正确性的方法。因此在业务中可优先采用无监督分歧信号，或将其作为特征加入有监督路由器，提升泛化能力。
潜在压缩与测试时训练：可训练 KV Cache 压缩
🧭 LLM 长上下文 KV cache 压缩 · 测试时训练 ★ 深度解读
Tsinghua University
将压缩 KV cache 视为可训练参数，用测试时训练拟合注意力与蒸馏，在 32× 压缩下 RULER 达 96.7%
📌 工作参考价值（4 点）
- 商品详情页、用户长期行为序列、长评论等重复使用的长上下文，可离线预压成可训练 KV cache。模型权重冻结，线上多 query 复用，适合推荐/搜索中大量候选文档场景；但注意论文只考核逻辑 KV-pair 预算，实际物理内存与速度需自行测评。
- 测试时训练不需要下游真实 query：用 480 个通用 prompt 与 teacher 全量 cache 生成 rollouts，就能提供 attention 与蒸馏监督。电商可以模板化商品属性、风格、摘要等通用问题，避免依赖真实用户日志。
- 初始化组合可直接复用：KVZip+ 重建分数选 preserver（占 75% 效果最好）、teacher attention 选 anchor、farthest-first 选 diversifier；ablations 表明 preserver 预算分配对准确率影响最大。
- 若把压缩文档 cache 与后续 query cache 合并，必须按 log-normalizer 加权而不是等权平均，否则准确率几乎归零；attention bias 贡献有限但可保留。
解码感知剪枝：面向 LLM 高效推理的 SparseDecoding
🧭 LLM 推理剪枝与稀疏计算优化
Westlake University · Ant Group
提出解码感知的剪枝框架，用生成过程激活校准并优化N:M稀疏SpMV内核，实现1.48x解码加速
📌 工作参考价值（3 点）
- 校准数据选择：剪枝/量化 LLM 时，让 dense 模型自回归生成并从各层收集激活作为校准集，而非离线静态文本，能缓解分布偏移导致的性能下降；在电商推荐理由生成、Agent 长回复等 decode 为主场景尤其适用。
- 系统内核优化：线上 LLM 以 decode 为主时，应重点优化 SpMV；采用 N:M 结构化稀疏配合 bitmask 索引与固定步长遍历，可有效降低 memory-bound 延迟，在商品描述生成、对话式推荐等长输出服务中提升吞吐。
- 训练后剪枝无需微调，工程成本低，适合对已有搜索推荐 LLM 服务做快速压缩迭代，保留任务性能的同时降低 A100/H100 推理成本。
AgSpec：在编码代理流水线中突破检索型投机解码极限
🧭 编码多智能体流水线的检索式投机解码加速
KAIST
AgSpec通过三层语料检索与按Agent自适应草稿长度，将编码Agent流水线生成吞吐提升至自回归解码的4.37–4.76倍
📌 工作参考价值（4 点）
- 将多轮Agent交互历史、工作区文件、全局模板分层构建检索库，能提高生成式任务（如商品标题/详情、客服回复）中投机解码的draft命中率；索引时把原文转换为最终输出格式，避免格式不匹配导致验证拒绝。
- 不同Agent或生成任务的接受长度差异大：离线profile每个Agent/Task的draft长度上限，线上根据acceptance/verification feedback动态调长或调短，可避免固定草稿长度带来的overhead。
- 投机解码在batch=1和batch=16下都有显著吞吐提升，适合电商Agent低延迟交互和高并发批式生成两类场景；可在内部LLM推理框架中加入检索草稿模块，优先尝试session级检索再混合全局。
- 该方案不依赖额外训练，通过工程化语料与策略即可提升，适合现有Agent流水线快速集成，尤其是多轮、多智能体调用LLM的自动生成系统。
评估 KV 缓存重用技术的准确性
🧭 LLM 推理评测与 KV cache 复用
Huawei Technologies Ltd. · Department of Computer Science, ETH Zurich
指出当前 KV 缓存重用评测方法高估效果，提出无歧义精度损失评测法并推出 Boxoffice 生成挑战性数据集
📌 工作参考价值（4 点）
- 若业务中用 RAG 为推荐/广告/搜索文案提供上下文，评估 KV cache 复用方案时必须把「复用带来的精度损失」与「检索质量/模型生成质量」分开测，否则会高估技术收益，建议设置隔离变量实验。
- 位置无关 KV cache 复用比 prefix caching 更灵活，但跨 chunk attention 缺失是主要精度损失来源；落地前应重点验证恢复跨 chunk attention 的 token 数量与位置对下游任务（如用户意图识别、商品描述生成）的实际影响。
- 借鉴 Boxoffice 的程序化生成评测集思路：构造具有不同 chunk 重复频率、乱序、跨 chunk 依赖的查询，模拟真实 RAG 中重叠/交错上下文，提前暴露复用策略在长尾模式下的退化。
- 若在 Agent 多步检索生成中启用 KV cache 复用降低 prefill 延迟，需要同时监控端到端业务指标（如点击率、转化率），因为微小的 token 级精度损失可能在业务链路上被放大。
Canopy：利用分段平滑树先验的多保真度老虎机
🧭 多保真树 bandit 优化 LLM 推理决策
Amazon · Columbia University
提出 CANOPY，在线学习树结构上的分段平滑性失效位置，将昂贵评估集中到不连续区域，提升多保真决策效率
📌 工作参考价值（4 点）
- 在电商/广告的多模型路由或策略选择中，可借鉴 CANOPY 的树结构多保真评估：用廉价内部节点（如小模型打分、压缩特征）快速估计候选池价值，只在检测到局部不平滑（如收益发生跳变）时才触发昂贵全量评估，显著降低 GPU 成本。
- 对生成式推荐 / Agent 的 test-time search，CANOPY 相比 uniform best-of-N 在 SWE-bench 上多解决 1.6 倍问题，说明通过随机路径探针识别搜索树中的高不确定分支，把预算集中在最有希望的子树上，可复用其「在线聚合偏差证书」思想提升 beam search 或候选生成的效率。
- Prompt 修剪与缓存管理中，可将 prompt token 序列建模为树，内部节点快速估计压缩前后的效果差异，仅在检测到质量突变时才进行完整生成评估；对 prefix caching 场景，CANOPY 的树节点价值估计可用于决定哪些前缀值得缓存或继续扩展，提升命中率并降低首 token 延迟。
- 算法层面，CANOPY 的保证「额外成本与不连续点数量可加」提示：在业务多臂老虎机问题中，如果收益函数分段平滑且边界未知，可采用类似随机探针 + 局部偏差检测的机制，避免全局平滑假设导致的搜索低效。
Transformer 能同时持有两种思想：LLM 线性叠加的证据
🧭 Transformer 可解释性与推理加速
证明 LLM 输入端线性组合会产生输出分布叠加，并提出引导解码实现单次前向生成两条连贯续写
📌 工作参考价值（4 点）
- 推理加速：借鉴引导解码同时解耦叠加输出，可在一次前向中生成多个候选 query/文案，用于搜索推荐场景的多路召回或 A/B 文案测试，降低 GPU 成本。
- 多意图融合：若模型经轻量微调恢复叠加线性，可混合多个意图 prompt embedding（如“品牌词+品类词”），再用解码约束得到多条符合不同意图的结果，适合电商搜索 query 推荐。
- 可落地微调：叠加线性随预训练减弱但能通过轻量微调恢复，业务模型可以用少量数据进行微调，使多流输入并行处理成为可能，从而支持 Agent 同时处理多个子任务。
- 注意边界：该线性性质与训练程度相关，实际部署前需在自有模型上验证；建议在微调阶段加入保持叠加线性的正则项或混合训练数据。
为 DeepSeek-V4 适配树形投机解码以提升推理效率
🧭 LLM 推理优化 · 树形投机解码 ★ 深度解读
Baige AI Team, Baidu Inc. · Fudan University
在 DeepSeek-V4 压缩注意力上实现树形投机解码，通过分支感知验证与状态刷新，吞吐最高提升约 18.5%
📌 工作参考价值（4 点）
- 在开放域低可预测的生成任务（对话式推荐、query 改写、广告文案生成）上，树形投机比线性投机吞吐提升更明显，batch 4 左右最优；线上可优先在这些场景开启。
- 若线上模型使用 KV cache 压缩/稀疏注意力，上 tree speculative decoding 不能只加 mask，必须隔离每个分支的压缩状态（scratch pad + 接受后刷新），否则会污染持久缓存上下文。
- 验证预算不是越大越好：研究中 D>6 后吞吐与接受长度脱钩，只涨质量不涨速度；工程上应根据 draft 能力和负载联合调 depth/width。
- 树形验证与 DSpark 类 draft 提质方案正交，可分开迭代：draft 侧负责候选质量，verify 侧负责分支利用，收益可叠加。
RheoSampling：解决随机动态树投机解码中的独热困境
🧭 LLM 投机解码推理加速
National Center for Mathematics and Interdisciplinary Sciences (NCMIS), AMSS, CAS · The University of Tokyo · Lenovo AI Technology Center · SKLMS and AMSS, Chinese Academy of Sciences · School of Mathematical Sciences, University of Chinese Academy of Sciences
通过解耦动态树构建与验证概率，首次实现上下文感知 top-K 动态树与随机采样兼得的无损投机解码
📌 工作参考价值（4 点）
- 线上 LLM 服务若采用投机解码加速，在 temperature>0 的生成式推荐/文案/对话场景，现有动态树方法会退化为 one-hot，导致接受率下降；RheoSampling 可作为随机采样下保持加速的参考实现，直接替换 EAGLE-3 等动态树 draft 策略。
- 其“构建概率”与“验证概率”解耦思路可迁移到其他需要在同一分布上同时做结构选择与质量评估的系统（如束搜索、MCTS 或推荐候选树生成），避免结构选择吃掉采样多样性。
- OT-based verification 和 sparse draft 机制对工程实现有借鉴：验证阶段用最优传输分配概率，稀疏 draft 减少无效分支，可降低延迟同时保持无损。
- 对于需要平衡多样性与效率的 Agent 多步推理/工具调用生成，该框架提供的等价类分析可作为分析随机树结构的新模板，帮助设计可证明无损的随机搜索策略。
长生命周期游戏 NPC 的增量记忆维护
🧭 LLM 推理 · 增量记忆维护
University of Bern
提出 LLM 运行时增量更新记忆的机制，避免重算长前缀并保持语义绑定
📌 工作参考价值（4 点）
- 在电商对话 Agent 或推荐助手中，当用户画像、订单状态等关键信息发生增量变化时，可以采用类似“移除被取代 KV 条目 + 在真实序列尾部追加更新”的策略，避免每次重新编码全部历史，显著降低本地部署的推理延迟和计算成本。
- 记忆更新应放在序列尾部而非原位覆盖：实验表明 true-tail updates 能避免 slot-preserving 方法出现的“双减法”类状态错误，这对需要精确状态追踪的电商规则系统（如库存、优惠券核销）尤其重要。
- 评估记忆维护系统时不能只看注意力分布相似度：论文发现注意力接近性无法解释语义差异，因此电商 Agent 的长期记忆评估应以下游任务准确率（如订单修改后的库存判断）为准。
- 混合循环-注意力架构（如 Qwen）在长上下文场景中能平衡效率与效果，可作为需要长期用户上下文记忆的生成式推荐 Agent 的候选基座。
Fathom：面向 offloaded KV cache 的按查询读取深度稀疏解码
🧭 LLM 稀疏注意力推理优化
按查询动态分配 bit 预算扫描量化 KV cache，在 offload 场景下减少带宽并加速解码
📌 工作参考价值（4 点）
- 如果业务中长上下文 LLM（如电商客服 Agent、浏览助手）的 KV cache 被 offload 到主机内存，top-k 扫描会成为解码瓶颈；Fathom 的按查询动态位预算可以直接用于减少跨 interconnect 的字节流量。
- 采用 4-bit K cache 按 channel-major 位平面存储，查询利用 reverse water-filling 在 variance-weighted channel importance 上分配读取位数，可以在相同 GPU 耗时下读更少字节、获得更低注意力误差，适合对延迟敏感且 buffer 在 host memory 的线上服务。
- 该方法在 RULER 任务上每个 token 扫描匹配 exact top-k，说明动态位分配不会牺牲 ranking 准确性，可安全替代固定位宽扫描（如 Double Sparsity、Loki、SparQ）以降低带宽成本。
- 注意：该方法仅在 KV 索引驻留主机内存时有效，GPU 常驻 cache 不需要；工程落地时需先判断索引位置，避免盲目引入。
剖析 Nvidia Hopper 上 LLM 推理的 GPU 利用率
🧭 LLM 推理 GPU 性能剖析
KTH Royal Institute of Technology, Stockholm, Sweden
用八个 NCU 计数器视图替代单一 SM 利用率，分解 Hopper 上 LLM 推理 decode 阶段利用率低的机制
📌 工作参考价值（4 点）
- 部署 LLM 服务（如搜索推荐中的对话/Agent）时，不要只依赖 SM utilization 判断 GPU 是否饱和，应结合 fragment fill、occupancy、stall cycles 等多个 NCU counter 做性能归因，避免误导性扩容决策。
- decode 阶段小 batch 是主要瓶颈：Hopper GMMA 固定 64 行片段，实际 batch 远小于 64 时有效计算占比极低。可尝试 continuous batching 或 sequence packing 提高 fragment 填充率，但需与延迟约束权衡。
- 论文提出的 counter-validated 视图方法可复用：从 Nsight Compute 原始报告定义 8 个视图，把性能问题映射到具体 kernel 角色（QKV 投影、attention、MoE expert 等），适用于自建推理引擎或调优 vLLM。
- 生成式推荐/Agent 场景常混合长序列与多请求，需区分 cold prefill 与 warm prefill 的 kernel 选择差异，分场景建立性能基准以指导 batch size 和序列长度配置。
BeaconKV：信标查询引导的 KV 缓存压缩加速大推理模型推理
🧭 LLM 推理加速 · KV cache 压缩
Hanyang University · Sungkyunkwan University
发现长程推理中查询聚类可预测重访 KV，提出训练无关信标查询压缩 KV 缓存，内存降5.8倍且准确率几乎无损
📌 工作参考价值（3 点）
- 在自研/部署 LRM（如 DeepSeek-R1、Qwen3）的推理服务中，KV cache 内存常成为瓶颈；BeaconKV 训练无关，可直接插入现有推理框架（如 vLLM、SGLang），无需微调，适合电商/广告场景的复杂导购 Agent、自动策略生成等长 CoT 任务。
- 借鉴“thought revisiting”洞察：模型长推理时会重访早期计划/关键信息，若在 Agent 记忆或上下文选择中使用简单的 recent-biased 策略可能丢失重要远距离信息；建议对历史 query 做聚类，保留每个聚类的代表性 query，用于判断哪些 KV 应保留。
- 工程实现上，可维护少量 beacon queries（每个聚类代表）而非完整 query 历史，预测后续 token 是否会重访，从而动态裁剪 KV cache；该方法已在四个开源 LRM 上验证，内存减少最高5.8×、吞吐提升4.3×，可先在离线长推理任务上 A/B 测试效果。
CRISP：基于结构质量路由的悬崖感知输入自适应稀疏预填充
🧭 动态稀疏注意力·长上下文预填充优化 ★ 深度解读
University of Oregon · Adobe Research · Hanoi University of Science and Technology
用结构质量代理替代JSD路由，以噪声地板阈值替代累积覆盖阈值，消除长上下文预填充的O(n)噪声积累
📌 工作参考价值（5 点）
- ## 可借鉴点
- 如果电商/Agent 场景中需要对长商品描述、评论、用户会话或多轮记忆做长上下文 LLM 推理加速，prefill 阶段可优先考虑动态稀疏注意力；CRISP 的 Cstruct 路由只需最后 query block 的代理注意力在首尾 anchor 区间做切片，省去 JSD 需要的 pooled matmul 与 KL 开销，工程实现更轻。
- 稀疏 token/block 选择不要用固定累积覆盖（如 top-p 累计 0.95）。有 attention sink 的模型容易早停在 sink 漏掉信号，或为凑阈值收 O(n) 噪声；改为相对噪声地板阈值（如 block 质量 p_j > αμ），α=1.0 可作为免调默认，业务侧更稳。
- 部署时建议加 context length 门限：论文在 8k 时稀疏仍比 dense 慢约 4x，64k 以上才开始反超；短 prompt 服务不必开启稀疏预填充。长上下文 RAG/检索类任务收益最大，聚合/多跳任务需评估精度-覆盖权衡。
- 可复用 VS/PE 双路径思想：对低熵/高集中 head 用结构模式选择，对高熵 head 用 pooled estimation；不要对所有 head 使用同一种稀疏策略。
KV Cache 淘汰的概率视角：期望估计与解码期校正
🧭 LLM 推理 · KV cache 压缩 ★ 深度解读
University of California, Los Angeles
将 KV cache 淘汰形式化为期望估计问题，提出可纠偏的概率淘汰与解码期校正
📌 工作参考价值（4 点）
- 部署长上下文 LLM 服务（Agent 记忆、商品描述、用户行为序列）时，现有 H2O/SnapKV 等确定式 top-k 淘汰在特定任务上可能灾难性失效；改用论文的 probabilistic eviction + decode-time correction 能提升多任务鲁棒性，适合同一模型同时服务检索、问答、推荐解释等场景。
- 工程迁移成本低：可把已有 score-based 淘汰策略改造成 proposal 分布（如 πH2O=normalize H2O scores），按 head/group 采样并记录 counts，解码时用 Algorithm 1 的自归一化重要性采样校正，改动集中在 attention 计算，无需重训或改模型。
- 温度缩放 τ 是简单可用的 bias-variance 旋钮：高压缩、低采样数时增大 τ 抑制方差，低压缩时保持 τ=1 降低偏差；可按业务 latency/quality 目标做 per-head 或全局 budget 调优。
- 全局压缩率分配可利用论文的采样数与 coupon collector 关系做预算分配，让不同层/head 自适应获得不同压缩率；GQA 模型需用 group 内 mixture proposal 保持支持集一致。
OasisKV：通过前瞻稀疏预取将解码KV缓存扩展至HBM之外
🧭 LLM推理优化 · 稀疏KV缓存与层次化预取
Imperial College London · KAIST · Microsoft Research · University of Edinburgh
利用推测解码提前预测重要KV块，实现稀疏注意力与多级预取，在有限HBM下提升推理吞吐达2.1倍
📌 工作参考价值（4 点）
- 结合推测解码与KV缓存管理：生成lookahead tokens时记录注意力，预测未来重要token，仅将稀疏的KV保留在HBM，可大幅减少显存占用，适用于长上下文服务（如用户行为序列、商品详情等需要长文本理解的场景）。
- 多级存储分层设计：冷KV块存于主机内存，通过异步流水线预取到HBM，避免解码延迟，可将HBM视为KV缓存的“热数据”缓存，类比推荐系统中的特征缓存策略。
- 基于vLLM实现，易于集成：工程上可直接在vLLM中扩展，业务中若使用vLLM部署LLM推理服务，可通过该稀疏预取方案提升吞吐，尤其适合批量推理和长序列场景。
- 显著降低KV传输与主机内存压力：在prefill-decode分离架构下，传输KV量减少6.5-9.7倍，解码节点内存减少2.2-2.6倍，可降低跨节点通信成本，利于大规模推荐Agent系统部署。
WIDE：Token 级动态宽度剪枝实现自适应 LLM 推理加速
🧭 LLM 动态剪枝 · 推理加速
Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo · Munich Center for Machine Learning, LMU Munich
首个端到端可微分的 token 级动态宽度剪枝框架，支持预填充与解码场景，细粒度分配注意力头组与 FFN 通道组
📌 工作参考价值（4 点）
- 在线 LLM 推理降本：在电商搜索的 query 理解、商品描述生成、RAG 检索等环节部署 LLM 时，可将 WIDE 的 token 级动态宽度剪枝迁移到自有模型中，按 token 难度动态分配算力，显著降低延迟与成本。
- 两阶段训练策略复用：先通过可微分掩码学习 token-wise 稀疏模式，再冻结掩码进行微调，该流程可应用于自有 Transformer 模型，无需大量校准数据即能保持精度。
- 细粒度结构剪枝方案：将动态剪枝从层级下推到注意力头组和 FFN 通道组，相比粗粒度弃层更细粒度，可模仿该分组设计，在推荐模型的 Transformer 层中实现更柔性的算力分配。
- 剪枝-内核算子协同设计：提出的 mask 重排序、block 级跳过、intra-block 跳过等工程化加速技巧，可作为部署端优化参考，有效将动态稀疏转化为实际加速。
压缩中迷失：抽取式提示压缩器的跨语言受控审计
🧭 跨语言提示压缩审计 · 多语言安全预算
Hostinger · Kaunas University of Technology
英语训练的抽取式提示压缩器在非英语语言上大幅失效，安全压缩预算远小于英语
📌 工作参考价值（4 点）
- 在多语言电商/搜索场景中，不要直接使用英语训练的抽取式压缩器处理非英语上下文；对非英语语言采用更保守的 keep-rate（如 ≥0.5）或改用确定性方法作为安全基线。
- 可以借鉴 translate-then-compress 管道：将非英语上下文先翻译成英语再压缩，在三个语言上以约一半 token 成本达到或超过原生压缩效果，适合以英语为中心的模型生态。
- 评估压缩器时需用目标模型 tokenizer 做预算匹配，并在上线前监控压缩后的 context utilization；警惕学习压缩器版本更新（如 XProvence v2）静默清空非英语语境。
- 自研多语言压缩器时，训练数据的语言覆盖是跨语言迁移的关键，而非模型架构；多语言监督数据能有效消除转移差距。
可变速率训练无关KV缓存压缩用于长上下文大模型
🧭 长上下文LLM推理优化 · 可变速率KV缓存压缩
Iowa State University
提出无训练可变秩KV缓存压缩方法VarRate，按显著性分配预算并保留所有token，实现接近无损的长上下文推理
📌 工作参考价值（4 点）
- 在线LLM服务可直接部署VarRate作为无训练的KV缓存压缩插件，减少长上下文推理内存占用，支撑更长的用户历史（如推荐理由生成、Agent对话历史理解）。
- 在多查询复用预填充缓存的场景（如批量用户查询），VarRate避免丢弃token导致的精度崩溃，保障关键信息不丢失，提升推荐或搜索结果的稳定性。
- 显著性得分可基于注意力权重快速计算，适合流式处理，能集成到实时推理管线中，无需额外模型或微调，降低工程复杂度。
- 可变秩分配思想可推广到特征存储、用户画像压缩等模块，通过保留所有数据点但差异化精度，实现更好的资源效率平衡。
通过激活聚合进行提示压缩
🧭 LLM 推理效率 · 激活压缩与重用
Freie Universität Berlin
将固定指令提示压缩为单个激活向量并注入 LLM 早期层，准确率下降小于 2%
📌 工作参考价值（4 点）
- 在电商搜索、推荐场景中，常用固定指令模板（如意图分类、商品属性抽取）可预计算压缩向量，跳过重复的 token 处理，显著降低线上推理延迟与计算成本。
- 多步 Agent 系统若共享同一系统提示，可将其压缩后注入各子任务，加速整体响应。
- 压缩器训练离线完成，不影响在线推理，且 patch 维度可调，便于在精度与效率之间做工程权衡。
- 方法依赖对目标 LLM 中间层激活的加权求和，需冻结模型并在特定任务上微调压缩器，适合指令固定、调用量大的场景。